信任引导的决策 Transformer
🧭 离线强化学习 · 决策 Transformer 上下文选择
International Institute of Information Technology Bangalore · IBM Research Bangalore
用模型自身状态预测误差加保形校准筛选可信上下文，再让 critic 选动作，缓解长 rollout 分布漂移
📌 工作参考价值（4 点）
- 在长程 Agent / 对话式推荐中，自回归生成的上下文容易偏离训练分布；可以复用「下一步状态/Token 预测误差」作为 OOD 信号，而不只依赖 reward 或 critic 分数。
- 用 split conformal prediction 在离线验证集上标定预测误差阈值，能获得覆盖率保证，避免人工拍阈值；适合对会话状态转移模型或用户序列模型做在线可信度过滤。
- 先做 trust filtering 再做 value/critic 选择：不要从不可靠 context 生成的动作里用 critic 选高价值动作；应当让 critic 只在可信 context suffix 集合内打分，能降低 OOD 动作风险。
- 对长序列推荐或 Agent 轨迹，可维护多个最近 context suffix，逐段做误差检查，只保留可信历史片段，实现类似软 reset 的上下文控制，避免硬 reset 丢失重要信息。
从自举到序列建模：个性化着陆页统一生成式框架
🧭 个性化着陆页选择 · Decision Transformer ★ 深度解读
Duke University · Kuaishou Technology
提出基于Decision Transformer的GLAN框架，用日级回报引导与分层奖励模型解决信用分配，在线提升DAU+0.158%和LT+0.108%。
📌 工作参考价值（4 点）
- 对于拥有多入口（首页、推荐页、关注页等）的平台，可将每日多次启动的推荐决策转化为序列建模问题，用Decision Transformer捕获跨会话依赖，替代传统MDP+Q-learning。
- 日级RTG预测模块(L-RTG)结合周期性attention与序列动态建模，通过约束优化同时预测用户当天总使用时长和会话数，为日内所有页面分配提供全局目标信号，避免手动设定目标值的OOD问题。
- 分层奖励模型(HRM)将会话总时长拆解为各页面类型时长并预测落地页快速退出风险，用focal loss处理样本不均衡，有效分辨“偏好匹配”与“下游补偿”的信用模糊，可作为多页面场景下动作评价的通用方案。
- 推理时将RTG作为可消耗预算动态更新，实现闭环自适应策略；该模式可迁移到电商权益分配、消息推送节奏控制等需要日级长期价值最大化的场景。
基于延迟市场反馈的多智能体强化学习目标权重自适应三方调度
🧭 多智能体调度优化 · 离线强化学习 ★ 深度解读
DoorDash Inc.
离线RL从真实市场延迟反馈中学习调整调度优化器的目标权重，实现效率提升而不损害质量
📌 工作参考价值（4 点）
- 通过低维目标权重接口控制现有优化器，避免直接替换，既保留约束与安全，又实现自适应调节；电商推荐中可类比为调节召回/排序目标权重的外部Agent。
- 利用离线RL从延迟且耦合的市场反馈中学习，采用 Double DQN 与 Conservative Q-Learning 惩罚未充分支持的动作，减少外推误差，适合业务中无法实时交互的场景。
- 多智能体完全去中心化执行、集中训练，并利用区域级奖励捕捉网络效应，对电商中多地区/多仓库协同决策具有借鉴意义。
- 上线前通过离线奖励重加权诊断策略行为的方向灵敏度，确保策略按预期权衡速度与效率，可作为推荐Agent上线前的安全检验方法。
解耦轨迹生成与重要性加权微调的高效多轮优化
🧭 多轮交互优化 · 加权监督微调 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · The Chinese University of Hong Kong, Shenzhen
通过将KL正则化RL目标等价为重要性加权SFT，以监督效率实现多轮推理的强化学习性能
📌 工作参考价值（4 点）
- 离线轨迹 + 重要性权重替代在线RL：在对话式推荐、智能客服等需多轮交互的场景，可离线采样参考策略的轨迹，按指数回报加权后做SFT，避免每次模型更新都重跑多轮对话，显著降低训练成本。
- 奖励塑形设计：用折扣因子鼓励尽早成功，并加入重复惩罚防止模型原地打转，这种回报定义可直接复用于需要逐步修正输出的Agent任务（如多轮搜索、工具调用）。
- 仅监督最后一轮：在“正确即停”的交互协议下，只对轨迹的最终响应施加权重，跳过已被验证器否定的中间尝试，简单有效地改善了偏差-方差权衡，适用于类似纠错场景的轨迹数据利用。
- Prompt 级权重归一化：对同一prompt下的多条轨迹独立计算分区函数进行归一化，保证权重只在局部比较相对好坏，稳定训练，这一技巧可推广至其他基于rollout重要性采样的微调方法。
情感音乐推荐：基于 rollout 世界模型的离线偏好优化
🧭 世界模型 · 离线偏好优化 · 情感计算 ★ 深度解读
LUCID Inc. · Mila — Québec AI Institute
用因果 Transformer 世界模型联合预测行为与情感反馈，并通过 DPO 优化策略，在伦理约束下实现情感导向的音乐推荐。
📌 工作参考价值（4 点）
- 世界模型作为离线模拟器与安全闸门：当在线实验受伦理或合规限制时（如电商中的高风险推荐、医疗健康推荐），可训练一个因果 Transformer 预测用户多维反馈（点击、评分、情感），完全在模拟器中训练和压力测试策略，上线前用对抗历史探测策略鲁棒性。
- DPO + 行为克隆做受控探索：用行为克隆初始化策略，再通过 DPO 微调，KL 散度惩罚项可约束策略偏离已验证的基准，适合在已有生产策略基础上渐进优化，避免灾难性遗忘。偏好对可基于“负反馈纠正采样”构造，即针对历史负反馈样本搜索高效用替代，形成有监督改进信号。
- 因子化 Transformer 架构便于并行打分：世界模型采用因子化设计，先对用户历史编码得到表示向量，再与候选物品 embedding 拼接后通过轻量 MLP 预测反馈，可实现一次历史编码、批量候选评分的并行化，大幅降低实时推理成本，适合库存量大的电商场景。
- 多目标效用函数融合异质反馈：将点击、评分、情感等多维信号加权合成为标量效用，且权重可配置，方便根据业务阶段动态调整优化目标（如先提转化再控多样性），同时监控覆盖率、熵、Gini 等多样性指标防止策略坍缩。
网约车司机补贴的动态扩散决策框架 D3-Subsidy
🧭 离线强化学习 + 扩散模型用于动态定价控制 ★ 深度解读
University of Hong Kong · Harbin Institute of Technology · Hong Kong Polytechnic University · Didi International Business Group
提出前缀条件扩散模型与Lagrangian-dual映射，在预算约束下实现城市级补贴的在线序列决策
📌 工作参考价值（4 点）
- 前缀条件扩散用于离线决策：部署时历史不可改变，训练时也固定历史前缀，仅扩散未来后缀，消除训练-推理 gap，可推广到任何需基于实时观测做序列决策的场景（如电商动态定价、Agent 策略学习）。
- 约束感知的后处理评分：在优化目标中加入对预算上限的 soft penalty，通过调整 penalty exponent 即可控制违规容忍度，无需重训模型，适合有严格 ROI 约束的营销或补贴分配任务。
- Lagrangian-dual 映射实现降维动作：将城市级标量控制信号通过闭式映射转为订单级补贴，既保证低延迟（单次决策 20ms），又避免个性化激励的不公平，可借鉴到大规模促销额度分配中，用总预算系数自动生成细粒度折扣。
- 多城预训练 + PEFT 冷启动迁移：先在多城数据上预训练扩散先验和逆动力学解码器，再对目标城市仅微调解码器（冻结扩散模型），大幅提升新市场冷启动效果，对电商新品类、新区域策略复用有直接参考。